本公開內(nèi)容概括而言涉及計(jì)算機(jī)建模，更具體而言涉及訓(xùn)練具有卷積濾波器的神經(jīng)網(wǎng)絡(luò)模型。

背景技術(shù)：

1、卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?network，cnn)已成為處理諸如圖像分類、臉部識(shí)別、場(chǎng)景理解和圍棋游戲之類的各種人工智能(artificial?intelligence，ai)應(yīng)用的主要學(xué)習(xí)模型。當(dāng)前的技術(shù)趨勢(shì)表明，cnn體系結(jié)構(gòu)越來(lái)越復(fù)雜，深度和復(fù)雜性不斷提高。雖然最先進(jìn)的cnn體系結(jié)構(gòu)可能包括各種用于改善模型訓(xùn)練和準(zhǔn)確度的技術(shù)，但通常這樣的模型會(huì)變得越來(lái)越復(fù)雜，并且在用于推理(例如，將經(jīng)訓(xùn)練的模型應(yīng)用于輸入以生成輸出)時(shí)，以增加執(zhí)行模型的成本為代價(jià)。因此，許多改善cnn性能的技術(shù)也會(huì)增加運(yùn)行時(shí)推理成本，從而當(dāng)在較低性能處理器上執(zhí)行推理時(shí)，或者當(dāng)改善后的增加的計(jì)算負(fù)載需要與競(jìng)爭(zhēng)處理容量的其它進(jìn)程進(jìn)行折衷時(shí)，則可能是不那么有吸引力的。在不增加推理成本的情況下改善模型性能的技術(shù)因而可能提供實(shí)質(zhì)性的益處。

技術(shù)實(shí)現(xiàn)思路

技術(shù)特征：

1.一種方法，包括：

2.如權(quán)利要求1所述的方法，其中，所述多個(gè)擴(kuò)展層包括輸出擴(kuò)展層，該輸出擴(kuò)展層輸出所述擴(kuò)展訓(xùn)練層的結(jié)果并且具有與所述目標(biāo)模型體系結(jié)構(gòu)中的所述多個(gè)卷積濾波器的維度不同的維度。

3.如權(quán)利要求2所述的方法，其中，所述輸出擴(kuò)展層具有1×1的維度。

4.如權(quán)利要求2所述的方法，其中，所述多個(gè)擴(kuò)展訓(xùn)練層包括訓(xùn)練層，該訓(xùn)練層具有與所述目標(biāo)模型體系結(jié)構(gòu)中的所述多個(gè)卷積濾波器的維度匹配的維度。

5.如權(quán)利要求1所述的方法，其中，所述擴(kuò)展訓(xùn)練層中的至少一個(gè)擴(kuò)展訓(xùn)練層具有比所述第一數(shù)目更大的第二數(shù)目的卷積濾波器。

6.如權(quán)利要求1所述的方法，其中，所述多個(gè)卷積濾波器中的第一數(shù)目的卷積濾波器是所述多個(gè)卷積濾波器的一部分。

7.如權(quán)利要求1所述的方法，其中，所述多個(gè)擴(kuò)展訓(xùn)練層包括歸一化層。

8.一種系統(tǒng)，包括：

9.如權(quán)利要求8所述的系統(tǒng)，其中，所述多個(gè)擴(kuò)展層包括輸出擴(kuò)展層，該輸出擴(kuò)展層輸出所述擴(kuò)展訓(xùn)練層的結(jié)果并且具有與所述目標(biāo)模型體系結(jié)構(gòu)中的所述多個(gè)卷積濾波器的維度不同的維度。

10.如權(quán)利要求9所述的系統(tǒng)，其中，所述輸出擴(kuò)展層具有1×1的維度。

11.如權(quán)利要求9所述的系統(tǒng)，其中，所述多個(gè)擴(kuò)展訓(xùn)練層包括訓(xùn)練層，該訓(xùn)練層具有與所述目標(biāo)模型體系結(jié)構(gòu)中的所述多個(gè)卷積濾波器的維度匹配的維度。

12.如權(quán)利要求8所述的系統(tǒng)，其中，所述擴(kuò)展訓(xùn)練層中的至少一個(gè)擴(kuò)展訓(xùn)練層具有比所述第一數(shù)目更大的第二數(shù)目的卷積濾波器。

13.如權(quán)利要求8所述的系統(tǒng)，其中，所述多個(gè)卷積濾波器中的第一數(shù)目的卷積濾波器是所述多個(gè)卷積濾波器的一部分。

14.如權(quán)利要求8所述的系統(tǒng)，其中，所述多個(gè)擴(kuò)展訓(xùn)練層包括歸一化層。

15.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該介質(zhì)包含指令，所述指令可由處理器執(zhí)行來(lái)用于：

16.如權(quán)利要求15所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中，所述多個(gè)擴(kuò)展層包括輸出擴(kuò)展層，該輸出擴(kuò)展層輸出所述擴(kuò)展訓(xùn)練層的結(jié)果并且具有與所述目標(biāo)模型體系結(jié)構(gòu)中的所述多個(gè)卷積濾波器的維度不同的維度。

17.如權(quán)利要求16所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中，所述輸出擴(kuò)展層具有1×1的維度。

18.如權(quán)利要求16所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中，所述多個(gè)擴(kuò)展訓(xùn)練層包括訓(xùn)練層，該訓(xùn)練層具有與所述目標(biāo)模型體系結(jié)構(gòu)中的所述多個(gè)卷積濾波器的維度匹配的維度。

19.如權(quán)利要求15所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中，所述擴(kuò)展訓(xùn)練層中的至少一個(gè)擴(kuò)展訓(xùn)練層具有比所述第一數(shù)目更大的第二數(shù)目的卷積濾波器。

20.如權(quán)利要求15所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中，所述多個(gè)卷積濾波器中的第一數(shù)目的卷積濾波器是所述多個(gè)卷積濾波器的一部分。

21.如權(quán)利要求15所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中，所述多個(gè)擴(kuò)展訓(xùn)練層包括歸一化層。

技術(shù)總結(jié)
用相對(duì)于推理體系結(jié)構(gòu)而言包括額外訓(xùn)練層的體系結(jié)構(gòu)來(lái)訓(xùn)練計(jì)算機(jī)模型。要用于推理中的計(jì)算機(jī)模型的體系結(jié)構(gòu)包括具有若干個(gè)K×K卷積濾波器的卷積層。為了訓(xùn)練，卷積濾波器被擴(kuò)展到多個(gè)訓(xùn)練層，這些訓(xùn)練層包括具有1×1和K×K濾波器的層。擴(kuò)展層可以包括比推理模型的層中的擴(kuò)展濾波器的數(shù)目更多的層。訓(xùn)練中的1×1擴(kuò)展層可以學(xué)習(xí)用于組合K×K擴(kuò)展層的權(quán)重，為推理層的層的各個(gè)通道提供K×K濾波器的加權(quán)組合。

技術(shù)研發(fā)人員：姚安邦,李超,劉曉龍,邵文簡(jiǎn),陳峰
受保護(hù)的技術(shù)使用者：英特爾公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10