本公開內(nèi)容總體上涉及矩陣計(jì)算，并且具體地涉及矩陣的空間局部變換。

背景技術(shù)：

1、現(xiàn)代神經(jīng)網(wǎng)絡(luò)包括多個(gè)層。每一層可以包括大量的輸入值，這些輸入值隨后被變換以生成輸出(即，激活)，輸出用作后續(xù)層的輸入。通常，這些輸入值和輸出值被表示為矩陣(例如，具有一維至多維的值的陣列)。對(duì)這些輸入值執(zhí)行的常見變換是卷積。卷積將核應(yīng)用于輸入中的相鄰值以生成輸出值，核包括權(quán)重值并且還可以被表示為矩陣。對(duì)輸入中的所有值重復(fù)該操作(如通過權(quán)重進(jìn)行修改)，以生成一組輸出值。然而，由于核因必須多次讀入相鄰值而將多次跨過或滑過相同的輸入值以生成多個(gè)輸出，因此使用樸素的方法執(zhí)行時(shí)在計(jì)算上會(huì)非常昂貴。

2、因此，期望如下系統(tǒng)，其能夠更有效地計(jì)算通過核的權(quán)重修改的輸入值的卷積以生成輸出值。

技術(shù)實(shí)現(xiàn)思路

技術(shù)特征：

1.一種方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述輸入張量具有多個(gè)通道，所述核具有多個(gè)過濾器，并且所述多個(gè)通道中的每個(gè)通道與所述多個(gè)過濾器中的一個(gè)或更多個(gè)過濾器卷積以生成具有多個(gè)輸出特征的所述輸出激活。

3.根據(jù)權(quán)利要求1所述的方法，還包括：

4.根據(jù)權(quán)利要求1所述的方法，還包括：

5.根據(jù)權(quán)利要求1所述的方法，還包括：

6.根據(jù)權(quán)利要求1所述的方法，其中，通過以下操作生成所述展平的輸入流：

7.根據(jù)權(quán)利要求6所述的方法，其中，所述定義的順序是行優(yōu)先順序、列優(yōu)先順序和通道優(yōu)先順序中至少之一，其中，所述通道優(yōu)先順序首先沿著對(duì)應(yīng)于三維3d圖塊的深度的軸訪問所述3d圖塊中的元素，然后沿著對(duì)應(yīng)于所述3d圖塊的寬度和所述3d圖塊的高度的軸訪問所述3d圖塊中的元素。

8.根據(jù)權(quán)利要求1所述的方法，其中，通過以下操作形成所述擴(kuò)展核：

9.根據(jù)權(quán)利要求8所述的方法，其中，所述核的每個(gè)單維向量是獨(dú)特的向量，所述獨(dú)特的向量是所述核的行、所述核的列、所述核的對(duì)角線和所述核的通道中至少之一，其中，所述核的通道是所述核的沿著與所述核的深度對(duì)應(yīng)的軸對(duì)準(zhǔn)的向量。

10.根據(jù)權(quán)利要求1所述的方法，其中，所述多個(gè)向量中的每個(gè)向量內(nèi)的值對(duì)應(yīng)于相對(duì)尋址值，每個(gè)相對(duì)尋址值是訪問展平的輸入流中的各個(gè)輸入值的定位的指示，所述展平的輸入流包括從輸入張量生成的所述一組平行向量，并且所述相對(duì)尋址值指定所述一組平行向量中的一個(gè)平行向量。

11.一種系統(tǒng)，包括：

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述輸入張量具有多個(gè)通道，所述核具有多個(gè)過濾器，并且所述多個(gè)通道中的每個(gè)通道與所述多個(gè)過濾器中的一個(gè)或更多個(gè)過濾器卷積以生成具有多個(gè)輸出特征的所述輸出激活。

13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述乘法累加單元還被配置成：

14.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述乘法累加單元還被配置成：

15.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述乘法累加單元還被配置成：

16.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，通過以下操作生成所述展平的輸入流：

17.一種系統(tǒng)，包括：

技術(shù)總結(jié)
本申請(qǐng)公開了矩陣的空間局部變換。方法包括：訪問包括一組平行向量的展平輸入流，每個(gè)向量表示要與核卷積以生成輸出激活的輸入張量的核尺寸大小的圖塊的一組輸入值；接收擴(kuò)展核，其具有各自對(duì)應(yīng)于輸出激活的圖塊的輸出值位置的多個(gè)核向量；通過生成控制模式的每個(gè)位置的值生成控制模式，該值基于該位置在控制模式中的坐標(biāo)和核的每個(gè)維度的尺寸生成；接收包括多個(gè)向量的控制模式，每個(gè)向量包括指示平行向量的延遲值；控制模式的向量的數(shù)量對(duì)應(yīng)于輸出激活的圖塊中的輸出值位置的數(shù)量，控制模式的每個(gè)向量中的每個(gè)延遲值指示訪問展平輸入流中的各個(gè)輸入值的延遲量；以及對(duì)于輸出激活的每個(gè)圖塊的每個(gè)輸出值位置生成第一向量與第二向量之間的點(diǎn)積。

技術(shù)研發(fā)人員：喬納森·亞歷山大·羅斯,托馬斯·霍金斯,格雷戈里·邁克爾·索爾森,馬特·博伊德
受保護(hù)的技術(shù)使用者：格羅克公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19