本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)加速，特別涉及一種精準(zhǔn)局部密集化的稀疏卷積加速器。

背景技術(shù)：

1、場(chǎng)景感知模型在近年來(lái)大熱的自動(dòng)駕駛、智能機(jī)器人等領(lǐng)域扮演重要角色，其中激光雷達(dá)產(chǎn)生的點(diǎn)云數(shù)據(jù)作為一種包含信息更全面的數(shù)據(jù)形式，可以作為眾多場(chǎng)景感知模型的輸入數(shù)據(jù)，讓模型精度更高，感知效果更好。但點(diǎn)云數(shù)據(jù)本身體量大，稀疏度高，信息密度低，分布模式隨機(jī)多樣的特點(diǎn)一直在阻礙模型推理速度的提升，并且占用大量的存儲(chǔ)資源，造成了很多算力浪費(fèi)，因此需要稀疏卷積加速。

2、現(xiàn)有的稀疏卷積加速方案多為收集-散射(gather-scatter)架構(gòu)，這類方案需要先遍歷整個(gè)輸入特征圖的坐標(biāo)，才能得到一張可以指導(dǎo)卷積工作的規(guī)則表(rulebook)，在此表指示下，去收集輸入特征數(shù)據(jù)，生成輸出特征圖。

3、在此過(guò)程中，生成全局rulebook的策略忽略了點(diǎn)云數(shù)據(jù)的稀疏性，所謂點(diǎn)云數(shù)據(jù)的稀疏性指的是，在激光雷達(dá)所能感知到的廣闊空間中，只有真實(shí)存在的物體才能將激光反射回去，產(chǎn)生非零的點(diǎn)云數(shù)據(jù)。這反映在點(diǎn)云數(shù)據(jù)中就是在點(diǎn)云數(shù)據(jù)表示的場(chǎng)景范圍內(nèi)，只有少量地方存在有效的點(diǎn)，其余都是空白。而生成全局rulebook的過(guò)程需要搜索整個(gè)場(chǎng)景，浪費(fèi)大量時(shí)間在沒(méi)有有效值的地方。其次，根據(jù)rulebook拿取特征值的過(guò)程也涉及到了大量的隨機(jī)讀取和重復(fù)讀取，是筆很大的訪存開(kāi)銷，會(huì)對(duì)推理速度造成很大影響。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種精準(zhǔn)局部密集化的稀疏卷積加速器，以解決現(xiàn)有稀疏卷積處理技術(shù)效率低下的問(wèn)題。

2、所述加速器包括：

3、數(shù)據(jù)裝載模塊，所述數(shù)據(jù)裝載模塊被配置為從神經(jīng)網(wǎng)絡(luò)中獲取點(diǎn)云數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)；所述點(diǎn)云數(shù)據(jù)包括對(duì)應(yīng)不同權(quán)重的圖像坐標(biāo)數(shù)據(jù)和圖像特征數(shù)據(jù)，所述圖像坐標(biāo)數(shù)據(jù)和所述圖像特征數(shù)據(jù)一一對(duì)應(yīng)；所述權(quán)重?cái)?shù)據(jù)對(duì)應(yīng)不同的權(quán)重；

4、數(shù)據(jù)分塊模塊，所述數(shù)據(jù)分塊模塊被配置為對(duì)所述點(diǎn)云數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)進(jìn)行分塊處理，得到若干個(gè)分塊；

5、子圖生成模塊，所述子圖生成模塊被配置為對(duì)所述分塊分別進(jìn)行偏移處理和乘加樹(shù)處理，得到對(duì)應(yīng)每個(gè)權(quán)重的特征子圖；

6、核內(nèi)累加模塊，所述核內(nèi)累加模塊被配置為對(duì)所述特征子圖進(jìn)行劃分，并進(jìn)行卷積核累加處理，得到目標(biāo)特征圖。

7、優(yōu)選的，每個(gè)分塊中包括有效數(shù)據(jù)、無(wú)效數(shù)據(jù)、有效坐標(biāo)范圍和對(duì)應(yīng)所述有效數(shù)據(jù)的數(shù)據(jù)地址。

8、優(yōu)選的，所述數(shù)據(jù)分塊模塊包括：

9、有效范圍計(jì)算單元，所述有效范圍計(jì)算單元被配置為根據(jù)所述點(diǎn)云數(shù)據(jù)的坐標(biāo)和所述權(quán)重?cái)?shù)據(jù)進(jìn)行有效范圍計(jì)算，得到所述有效坐標(biāo)范圍；

10、有效數(shù)據(jù)計(jì)算單元，所述有效數(shù)據(jù)計(jì)算單元被配置為根據(jù)所述有效坐標(biāo)范圍對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行劃分，得到所述有效數(shù)據(jù)和所述無(wú)效數(shù)據(jù)；所述有效數(shù)據(jù)包括有效數(shù)量和所述數(shù)據(jù)地址；

11、分塊劃分單元，所述分塊劃定單元被配置為將屬于同一權(quán)重的所述有效坐標(biāo)范圍、所述有效數(shù)據(jù)、所述無(wú)效數(shù)據(jù)、所述數(shù)據(jù)地址和所述有效數(shù)量劃分到同一所述分塊中。

12、優(yōu)選的，所述有效范圍計(jì)算單元還被配置為：

13、根據(jù)所述點(diǎn)云數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)確定所有權(quán)重中所述圖像坐標(biāo)數(shù)據(jù)中的若干個(gè)坐標(biāo)最靠前的第一坐標(biāo)和若干個(gè)坐標(biāo)最后的第二坐標(biāo)；所述第一坐標(biāo)的數(shù)量和所述第二坐標(biāo)的數(shù)量由所述神經(jīng)網(wǎng)絡(luò)的卷積核而定；

14、從所有所述第一坐標(biāo)中篩選出坐標(biāo)最靠前的第一目標(biāo)坐標(biāo)，以及從所有所述第二坐標(biāo)中篩選出坐標(biāo)最靠前的第二目標(biāo)坐標(biāo)；

15、將所述第一目標(biāo)坐標(biāo)到所述第二目標(biāo)坐標(biāo)之間的坐標(biāo)范圍標(biāo)記為所述有效坐標(biāo)范圍；在所述有效坐標(biāo)范圍內(nèi)的坐標(biāo)數(shù)據(jù)為所述有效數(shù)據(jù)，在所述有效坐標(biāo)范圍外的坐標(biāo)數(shù)據(jù)為所述無(wú)效數(shù)據(jù)。

16、優(yōu)選的，所述子圖生成模塊包括：

17、坐標(biāo)偏移單元，所述坐標(biāo)偏移單元被配置為根據(jù)對(duì)應(yīng)的權(quán)重對(duì)對(duì)應(yīng)所述分塊中的所述圖像坐標(biāo)數(shù)據(jù)進(jìn)行偏移處理，得到坐標(biāo)列表；

18、特征乘加樹(shù)單元，所述特征乘加樹(shù)單元被配置為根據(jù)對(duì)應(yīng)的權(quán)重對(duì)對(duì)應(yīng)所述分塊中的所述圖像特征數(shù)據(jù)進(jìn)行乘加樹(shù)處理，得到特征列表；所述特征子圖包括所述坐標(biāo)列表和所述特征列表。

19、優(yōu)選的，所述特征乘加樹(shù)單元還被配置為：

20、將對(duì)應(yīng)分塊的權(quán)重和所述圖像特征數(shù)據(jù)進(jìn)行相乘，得到相乘結(jié)果；

21、將不同卷積通道的所述相乘結(jié)果進(jìn)行累加處理，得到所述特征列表；

22、所述子圖生成模塊還包括：

23、分塊接收單元，所述分塊接收單元被配置為根據(jù)所述數(shù)據(jù)地址和所述權(quán)重?cái)?shù)據(jù)接收不同權(quán)重的分塊。

24、優(yōu)選的，所述核內(nèi)累加模塊包括：

25、數(shù)據(jù)排序單元，所述數(shù)據(jù)排序單元被配置為根據(jù)所述權(quán)重?cái)?shù)據(jù)確定對(duì)應(yīng)的所述特征子圖，將所述特征子圖中的所述坐標(biāo)列表按照預(yù)設(shè)順序進(jìn)行排序處理，得到排序數(shù)據(jù)；

26、有效劃分單元，所述有效劃分單元被配置為根據(jù)所述有效坐標(biāo)范圍對(duì)所述排序坐標(biāo)數(shù)據(jù)進(jìn)行劃分，得到最小分塊，所述最小分塊中包括按照預(yù)設(shè)順序排列的所述有效數(shù)據(jù)；

27、特征搜索單元，所述特征搜索單元被配置為在所述最小分塊中進(jìn)行特征提取，得到若干個(gè)對(duì)應(yīng)所述有效數(shù)據(jù)的搜索特征數(shù)據(jù)；

28、特征累加單元，所述特征累加單元被配置為對(duì)所有所述搜索特征數(shù)據(jù)進(jìn)行累加處理，得到目標(biāo)特征數(shù)據(jù)；

29、坐標(biāo)提取單元，所述坐標(biāo)提取單元被配置提取所述搜索特征數(shù)據(jù)的對(duì)應(yīng)坐標(biāo)，得到提取坐標(biāo)數(shù)據(jù)；所述目標(biāo)特征圖包括所述目標(biāo)特征數(shù)據(jù)和所述提取坐標(biāo)數(shù)據(jù)。

30、優(yōu)選的，所述坐標(biāo)提取單元還被配置為：

31、提取所述特征搜索單元在停止特征搜索時(shí)所述搜索特征數(shù)據(jù)的對(duì)應(yīng)坐標(biāo)，得到所述提取坐標(biāo)數(shù)據(jù)。

32、優(yōu)選的，所述數(shù)據(jù)裝載模塊包括：

33、數(shù)據(jù)獲取單元，所述數(shù)據(jù)獲取單元被配置為從所述神經(jīng)網(wǎng)絡(luò)中獲取點(diǎn)云數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)；

34、若干個(gè)數(shù)據(jù)存儲(chǔ)單元，每個(gè)所述數(shù)據(jù)存儲(chǔ)單元被配置為存儲(chǔ)對(duì)應(yīng)權(quán)重的所述點(diǎn)云數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)。

35、優(yōu)選的，所述數(shù)據(jù)裝載模塊還包括：

36、數(shù)據(jù)分配單元，所述數(shù)據(jù)分配單元被配置為根據(jù)對(duì)應(yīng)的權(quán)重將所述點(diǎn)云數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)發(fā)送到對(duì)應(yīng)的所述數(shù)據(jù)存儲(chǔ)單元中；

37、所述數(shù)據(jù)存儲(chǔ)單元還被配置為存儲(chǔ)所述點(diǎn)云數(shù)據(jù)，根據(jù)所述點(diǎn)云數(shù)據(jù)確認(rèn)對(duì)應(yīng)權(quán)重的所述權(quán)重?cái)?shù)據(jù)，并存儲(chǔ)所述權(quán)重?cái)?shù)據(jù)。

38、由上述內(nèi)容可知，本技術(shù)提供一種精準(zhǔn)局部密集化的稀疏卷積加速器，所述加速器包括數(shù)據(jù)裝載模塊，所述數(shù)據(jù)裝載模塊被配置為從神經(jīng)網(wǎng)絡(luò)中獲取點(diǎn)云數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)；所述點(diǎn)云數(shù)據(jù)包括對(duì)應(yīng)不同權(quán)重的圖像坐標(biāo)數(shù)據(jù)和圖像特征數(shù)據(jù)，所述圖像坐標(biāo)數(shù)據(jù)和所述圖像特征數(shù)據(jù)一一對(duì)應(yīng)；所述權(quán)重?cái)?shù)據(jù)對(duì)應(yīng)不同的權(quán)重；數(shù)據(jù)分塊模塊，所述數(shù)據(jù)分塊模塊被配置為對(duì)所述點(diǎn)云數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)進(jìn)行分塊處理，得到若干個(gè)分塊；子圖生成模塊，所述子圖生成模塊被配置為對(duì)所述分塊分別進(jìn)行偏移處理和乘加樹(shù)處理，得到對(duì)應(yīng)每個(gè)權(quán)重的特征子圖；核內(nèi)累加模塊，所述核內(nèi)累加模塊被配置為對(duì)所述特征子圖按照預(yù)設(shè)順序進(jìn)行排序，得到排序數(shù)據(jù)，對(duì)所述排序數(shù)據(jù)進(jìn)行劃分，并進(jìn)行卷積核累加處理，得到目標(biāo)特征圖。本技術(shù)通過(guò)上述加速器解決了現(xiàn)有稀疏卷積處理技術(shù)效率低下的問(wèn)題。