技術(shù)編號：40405096
提示：您尚未登錄，請點 登 陸 后下載，如果您還沒有賬戶請點 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細信息。本申請涉及計算機，尤其涉及一種數(shù)據(jù)處理方法、裝置、設備及可讀存儲介質(zhì)。背景技術(shù)、隨著人工智能技術(shù)的快速發(fā)展，大型語言模型的參數(shù)規(guī)模日益增長，參數(shù)規(guī)模從數(shù)百萬到數(shù)萬億不等，在現(xiàn)有的模型訓練中，由于模型的參數(shù)量規(guī)模龐大，對計算資源以及計算時間需求龐大，通常需要芯片集群進行模型訓練，現(xiàn)有技術(shù)一般采用同質(zhì)的芯片的進行數(shù)據(jù)并行或者流水線并行進行分布式訓練，數(shù)據(jù)并行是指將相同的初始模型配置到多個數(shù)據(jù)并行組上，然后每個數(shù)據(jù)并行組獨立處理各自的輸入樣本，并最終聚合起來整合所有模型參數(shù)。流水線并行是指將模型的網(wǎng)...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學習研究技術(shù)思路。