1.一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，包括如下步驟：
2.根據(jù)權利要求1所述一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，所述步驟1根據(jù)預訓練權重計算神經網絡各層的平均海森跡，每層的平均海森跡包括：多頭自注意力模塊的平均海森跡和前饋模塊的平均海森跡，所述多頭自注意力模塊的平均海森跡包括輸入映射的平均海森跡和輸出映射的平均海森跡，所述前饋模塊的平均海森跡包括兩個全連接層的平均海森跡。
3.根據(jù)權利要求2所述一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，所述步驟2根據(jù)各層平均海森跡的分布進行逐層n:m權重剪枝的具體方法為：根據(jù)各層多頭自注意力模塊平均海森跡的分布情況，確定各層多頭自注意力模塊平均海森跡的最優(yōu)數(shù)值區(qū)間劃分方式，依據(jù)最優(yōu)數(shù)值區(qū)間劃分方式為各層多頭自注意力模塊平均海森跡的各數(shù)值區(qū)間配置n:m的取值；采用同樣的方式為各層前饋模塊平均海森跡的各數(shù)值區(qū)間配置n:m的取值；按照配置的n:m對各層多頭自注意力模塊的權重矩陣以及各層前饋模塊的權重矩陣按列剪枝。
4.根據(jù)權利要求3所述一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，所述步驟4對步驟3重訓練后的網絡進行非參數(shù)化的多階段自適應令牌剪枝的具體方法為：在網絡正向推理過程中選取令牌剪枝層，根據(jù)所述令牌剪枝層中多頭自注意力模塊所有頭的softmax函數(shù)輸出矩陣計算所述令牌剪枝層的每個圖像令牌分數(shù)以及剪枝閾值，對所述令牌剪枝層的各個圖像令牌分數(shù)進行降序排序，對降序排序后的各個圖像令牌分數(shù)按序進行部分和累加操作，在累加獲取的部分和大于所述令牌剪枝層的剪枝閾值時停止累加操作，并根據(jù)未參與部分和累加操作的圖像令牌生成剪枝決定指令，輸入至所述令牌剪枝層前饋模塊前的層歸一化模塊的圖像令牌執(zhí)行剪枝決定指令。
5.根據(jù)權利要求3所述一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，按照配置的n:m對各層多頭自注意力模塊的權重矩陣以及各層前饋模塊的權重矩陣按列剪枝，具體為：按照m的數(shù)值對各列權重進行分組，每組權重中最大的n個權重保持原值且其它權重賦值為零。
6.根據(jù)權利要求3所述一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，根據(jù)網絡精度和權重剪枝收益確定各層多頭自注意力模塊平均海森跡的最優(yōu)數(shù)值區(qū)間劃分方式以及各層前饋模塊平均海森跡的最優(yōu)數(shù)值區(qū)間劃分方式。
7.根據(jù)權利要求4所述一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，所述根據(jù)所述令牌剪枝層中多頭自注意力模塊所有頭的softmax函數(shù)輸出矩陣計算所述令牌剪枝層的每個圖像令牌分數(shù)以及剪枝閾值，具體為：對所述令牌剪枝層中多頭自注意力模塊所有頭的softmax函數(shù)輸出矩陣的第一行數(shù)據(jù)求和，獲取一行新的數(shù)據(jù)，所述一行新的數(shù)據(jù)中除去第一個元素剩下的元素對應所述令牌剪枝層的各個圖像令牌分數(shù)，對所述令牌剪枝層的各個圖像令牌分數(shù)求和后乘以比例因子，獲取所述令牌剪枝層的剪枝閾值。
8.根據(jù)權利要求7所述一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，所述令牌剪枝層的剪枝閾值為其中，threshold為令牌剪枝層的剪枝閾值，α為剪枝的比例因子，0<α<1，token?scorei為第i個圖像令牌的分數(shù)，n為令牌剪枝層中輸入的圖像令牌的數(shù)量。
9.根據(jù)權利要求1至8中任意一項所述一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，所述步驟5獲取的vision?transformer神經網絡包括至少一層網絡結構，各層網絡結構均包括串行執(zhí)行計算任務的多頭自注意力模塊和前饋模塊，令牌剪枝層還包括與該層多頭自注意力模塊并行執(zhí)行計算任務的自適應令牌剪枝模塊，所述自適應令牌剪枝模塊接收令牌剪枝層中多頭自注意力模塊所有頭的softmax函數(shù)輸出矩陣，自適應令牌剪枝模塊輸出剪枝決定指令至令牌剪枝層中前饋模塊前的層歸一化模塊的輸入端。
10.根據(jù)權利要求9所述一種基于vision?transformer神經網絡的硬件友好的剪枝方法，其特征在于，所述自適應令牌剪枝模塊包括：