Transformer模型不规则稀疏矩阵乘法运算方法与硬件架构

摘要

本发明提供了一种Transformer模型不规则稀疏矩阵乘法运算方法与硬件架构；其中方法为：设定运算阵列：运算阵列包括N个运算组；每个运算组均包括乘法单元、分配器和合并单元；对稀疏权重矩阵的行列顺序进行重新排列，生成负载平衡的权重矩阵RCBA排列格式；输入到运算阵列中：每个运算组中，乘法单元分别将对应行模块的非零值与行模块的行索引对应的输入矩阵元素逐个相乘得到的乘法结果；分配器根据各个列模块的列索引，将乘法结果分配到各个合并单元中进行合并。该方法可满足不规则稀疏权重矩阵与稠密输入矩阵的乘法加速，具有中间结果移动缓存开销低、索引机制简单以及复用率高的特点。

关键词