本發(fā)明涉及信息處理，尤其涉及一種異構(gòu)芯片的性能測試方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著人工智能領(lǐng)域蓬勃發(fā)展，技術(shù)革新層出不窮，在gpu芯片領(lǐng)域，很多廠商相繼推出自己的gpu芯片，包括訓練卡和推理卡，芯片類型包括海光dcu系列和華為昇騰npu系列。

2、隨著越來越多種類型的gpu的出現(xiàn)，對于gpu的性能測試需要也越來越多，在gpu測評研究領(lǐng)域中，現(xiàn)有技術(shù)方案是用各個深度學習框架提供的接口進行g(shù)pu深度學習的性能測試，但是，各個深度學習框架有不同的推演及推演性能測試方法，并且各個深度學習框架訓練出來的模型間不能通用，深度學習推演性能標準不統(tǒng)一且配置步驟繁瑣的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種異構(gòu)芯片的性能測試方法、裝置、電子設(shè)備及介質(zhì)，用于解決深度學習推演場景中各個深度學習框架訓練出來的模型間不能通用和配置步驟繁瑣的問題。

2、根據(jù)本發(fā)明的一方面，提供了一種異構(gòu)芯片的性能測試方法，包括：

3、獲取異構(gòu)芯片的測試配置信息，測試配置信息中包括至少兩種芯片類型、測試場景、測試參數(shù)和測試指標；

4、調(diào)用測試場景對應的腳本模板，基于至少兩種芯片類型、測試參數(shù)、測試指標和測試場景對應的腳本模板生成測試腳本；

5、基于測試場景和測試參數(shù)預測測試資源量，在至少兩種芯片類型的芯片中創(chuàng)建計算節(jié)點，并基于測試資源量為計算節(jié)點分配測試環(huán)境所需的計算資源；

6、基于測試腳本控制至少兩種芯片類型對應的計算節(jié)點分別執(zhí)行測試過程，獲取至少兩種芯片類型對應的測試過程中測試指標對應的指標數(shù)據(jù)；

7、基于至少兩種芯片類型對應的測試過程中測試指標對應的指標數(shù)據(jù)得到至少兩種芯片類型的芯片的性能比對結(jié)果。

8、可選的，獲取異構(gòu)芯片的測試配置信息，包括：展示交互頁面，交互頁面中包括測試場景選擇控件和芯片類型選擇控件；響應于對芯片類型選擇控件的觸發(fā)操作，確定至少兩種芯片類型；響應于對測試場景選擇控件的選擇操作，確定測試場景，并在交互頁面展示測試場景對應的測試參數(shù)項和測試指標項；響應于對測試參數(shù)項的設(shè)置操作，確定測試參數(shù)，以及基于對測試指標項的選擇操作，確定測試指標。

9、可選的，測試場景包括如下的一項或多項：模型訓練場景、模型或者算子測試場景和模型網(wǎng)絡(luò)參數(shù)共享場景。

10、可選的，在模型訓練場景中，測試參數(shù)包括模型類型、模型初始化參數(shù)、模型訓練批次、損失函數(shù)和梯度優(yōu)化器；測試指標包括如下的一項或多項：訓練過程指標、芯片運行指標和模型精度指標，其中，訓練過程指標包括：模型中算子精度、算子計算速度、模型的訓練時長和訓練過程中的模型損失的一項或多項，芯片運行指標包括顯存占用量、內(nèi)存吞吐量、網(wǎng)絡(luò)吞吐量的一項或多項，模型精度指標包括模型準確率、模型召回率和模型f1數(shù)值的一項或多項。

11、可選的，基于測試腳本控制至少兩種芯片類型對應的計算節(jié)點分別執(zhí)行測試過程，包括：基于測試參數(shù)中的模型類型、模型初始化參數(shù)構(gòu)建初始模型；將初始模型下發(fā)至每一芯片類型對應的計算節(jié)點處；在每一計算節(jié)點處，調(diào)用模型類型對應的訓練數(shù)據(jù)集，基于模型訓練批次、損失函數(shù)和梯度優(yōu)化器對初始模型進行訓練，得到訓練好的目標模型。

12、可選的，獲取至少兩種芯片類型對應的測試過程中測試指標對應的指標數(shù)據(jù)，包括如下的一項或多項：在每一批次的訓練過程中，確定模型中各算子的計算速度和算子精度；在每一批次的訓練過程中，確定模型在批次的訓練時長，以及，基于模型在每一批次的訓練時長確定模型的訓練時長；在每一批次的訓練中確定模型損失，和/或，基于多個批次的模型損失確定損失均值和損失趨勢圖示；在計算節(jié)點執(zhí)行測試過程的過程中，檢測顯存占用量、內(nèi)存吞吐量和網(wǎng)絡(luò)吞吐量中一項或多項的指標數(shù)據(jù)；基于驗證數(shù)據(jù)集對訓練得到的目標模型進行驗證，得到模型準確率、模型召回率和模型f1數(shù)值的一項或多項的指標數(shù)據(jù)。

13、可選的，在模型或者算子測試場景，測試參數(shù)包括：模型類型；或者，測試參數(shù)包括：算子類型和算子數(shù)量；測試指標包括如下的一項或多項：模型處理指標和芯片運行指標，其中，模型處理指標包括：模型計算速度、模型計算精度和模型計算穩(wěn)定性；芯片運行指標包括顯存占用量、內(nèi)存吞吐量、網(wǎng)絡(luò)吞吐量的一項或多項。

14、可選的，基于測試腳本控制至少兩種芯片類型對應的計算節(jié)點分別執(zhí)行測試過程，獲取至少兩種芯片類型對應的測試過程中測試指標對應的指標數(shù)據(jù)，包括：基于模型類型調(diào)用預先訓練好的目標模型，或者，基于算子類型和算子數(shù)量調(diào)用預先訓練好的目標算子；基于目標模型或者目標算子對驗證樣本數(shù)據(jù)進行處理；在目標模型或者目標算子對驗證樣本數(shù)據(jù)的處理過程中，檢測芯片運行指標對應的指標數(shù)據(jù)；和/或，基于目標模型或者目標算子的處理時長確定模型計算速度，和/或，基于目標模型或者目標算子的處理結(jié)果確定模型計算精度和模型計算穩(wěn)定性的一項或多項的指標數(shù)據(jù)。

15、可選的，在模型網(wǎng)絡(luò)參數(shù)共享場景中，測試參數(shù)包括：共享參數(shù)的數(shù)量；測試指標包括如下的一項或多項：共享過程指標和芯片運行指標，其中，共享過程指標包括：參數(shù)共享速度和參數(shù)丟失率的一項或多項；芯片運行指標包括顯存占用量、內(nèi)存吞吐量、網(wǎng)絡(luò)吞吐量的一項或多項。

16、可選的，在至少兩種芯片類型的芯片中創(chuàng)建計算節(jié)點，包括：對于任一類型的兩個芯片中分別創(chuàng)建一個計算節(jié)點，其中，第一計算節(jié)點為源節(jié)點，第二計算節(jié)點為目標節(jié)點；以及，基于測試腳本控制至少兩種芯片類型對應的計算節(jié)點分別執(zhí)行測試過程，獲取至少兩種芯片類型對應的測試過程中測試指標對應的指標數(shù)據(jù)，包括：基于共享參數(shù)的數(shù)量調(diào)用待共享參數(shù)，將待共享參數(shù)下發(fā)至每一芯片類型中的源節(jié)點；控制源節(jié)點將待共享參數(shù)同步至目標節(jié)點；在參數(shù)共享的過程中，基于參數(shù)共享過程的時長確定參數(shù)共享速度的指標數(shù)據(jù)；和/或，將目標節(jié)點接收的參數(shù)和源節(jié)點的待傳輸參數(shù)進行比對，確定參數(shù)丟失率的指標數(shù)據(jù)；和/或，在參數(shù)共享過程中檢測芯片運行指標對應的指標數(shù)據(jù)。

17、可選的，基于測試場景和測試參數(shù)預測測試資源量，包括：將測試場景和測試參數(shù)輸入至資源量預測模型中，得到測試資源量。

18、根據(jù)本發(fā)明的一方面，提供了一種異構(gòu)芯片的性能測試裝置，包括：

19、測試配置信息獲取模塊，用于獲取異構(gòu)芯片的測試配置信息，測試配置信息中包括至少兩種芯片類型、測試場景、測試參數(shù)和測試指標；

20、測試腳本生成模塊，用于調(diào)用測試場景對應的腳本模板，基于至少兩種芯片類型、測試參數(shù)、測試指標和測試場景對應的腳本模板生成測試腳本；

21、計算資源確定模塊，用于基于測試場景和測試參數(shù)預測測試資源量，在至少兩種芯片類型的芯片中創(chuàng)建計算節(jié)點，并基于測試資源量為計算節(jié)點分配測試環(huán)境所需的計算資源；

22、指標數(shù)據(jù)確定模塊，用于基于測試腳本控制至少兩種芯片類型對應的計算節(jié)點分別執(zhí)行測試過程，獲取至少兩種芯片類型對應的測試過程中測試指標對應的指標數(shù)據(jù)；

23、性能比對結(jié)果確定模塊，用于基于至少兩種芯片類型對應的測試過程中測試指標對應的指標數(shù)據(jù)得到至少兩種芯片類型的芯片的性能比對結(jié)果。

24、根據(jù)本發(fā)明的另一方面，提供了一種電子設(shè)備，電子設(shè)備包括：

25、至少一個處理器；以及

26、與至少一個處理器通信連接的存儲器；其中，

27、存儲器存儲有可被至少一個處理器執(zhí)行的計算機程序，計算機程序被至少一個處理器執(zhí)行，以使至少一個處理器能夠執(zhí)行本發(fā)明任一實施例的異構(gòu)芯片的性能測試方法。

28、根據(jù)本發(fā)明的另一方面，提供了一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有計算機指令，計算機指令用于使處理器執(zhí)行時實現(xiàn)本發(fā)明任一實施例的異構(gòu)芯片的性能測試方法。

29、根據(jù)本發(fā)明的另一方面，提供了一種計算機程序產(chǎn)品，其特征在于，計算機程序產(chǎn)品包括計算機程序，計算機程序在被處理器執(zhí)行時實現(xiàn)本發(fā)明任一實施例的異構(gòu)芯片的性能測試方法。

30、本發(fā)明實施例的技術(shù)方案，通過獲取異構(gòu)芯片的測試配置信息，測試配置信息中包括至少兩種芯片類型、測試場景、測試參數(shù)和測試指標；調(diào)用測試場景對應的腳本模板，基于至少兩種芯片類型、測試參數(shù)、測試指標和測試場景對應的腳本模板生成測試腳本；基于測試場景和測試參數(shù)預測測試資源量，在至少兩種芯片類型的芯片中創(chuàng)建計算節(jié)點，并基于測試資源量為計算節(jié)點分配測試環(huán)境所需的計算資源；基于測試腳本控制至少兩種芯片類型對應的計算節(jié)點分別執(zhí)行測試過程，獲取至少兩種芯片類型對應的測試過程中測試指標對應的指標數(shù)據(jù)；基于至少兩種芯片類型對應的測試過程中測試指標對應的指標數(shù)據(jù)得到至少兩種芯片類型的芯片的性能比對結(jié)果。本方案通過測試配置信息和測試場景對應的腳本模板自動化地生成各種測試配置信息對應的測試腳本，實現(xiàn)了異構(gòu)芯片在不同場景下的自動化測試，實現(xiàn)了通過預測測試資源量和創(chuàng)建的計算節(jié)點確定各計算節(jié)點所需要的計算資源，為測試過程分配資源，保證測試過程的正常執(zhí)行，實現(xiàn)了能夠通過具有統(tǒng)一性能標準的測試腳本的構(gòu)建方法確定測試腳本，以及得到對應測試腳本的性能測試結(jié)果，且無需重復配置測試參數(shù)信息，從而解決通過不同的深度學習框架訓練出來的模型間不能通用和配置步驟繁瑣的問題，提高了在不同測試場景下不同類型的芯片的測試腳本的自動化生成的效率，也提高了對芯片性能測試的可擴展性，使得能夠擴展到不同平臺、系統(tǒng)和其他硬件設(shè)備，提高了異構(gòu)芯片的性能測試的準確性和高效性。

31、應當理解，本部分所描述的內(nèi)容并非旨在標識本發(fā)明的實施例的關(guān)鍵或重要特征，也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過以下的說明書而變得容易理解。