基于神经架构搜索的非结构化剪枝方法

作者：王宪保; 刘鹏飞; 项圣; 王辛刚^*

来源：模式识别与人工智能, 2023, 36(05): 448-458.

DOI：10.16451/j.cnki.issn1003-6059.202305005

• 网络剪枝
• 神经架构搜索(NAS)
• 搜索空间
• 层级相关系数传播
• 掩码参数

由于难以使用客观标准删除深度神经网络中的冗余单元，剪枝后的网络表现出性能的急剧退步.针对此问题，文中提出基于神经架构搜索的非结构化剪枝方法.首先，将掩码学习模块定义在搜索空间中，以便删除冗余的权重参数.然后，引入层级相关系数传播，在反向传播过程中为每个网络权重分配一个层级相关系数，以此衡量每个权重对网络输出的贡献度，并帮助二值掩码参数的更新.最后，对网络权重、架构参数和层级相关系数进行统一更新.在CIFAR-10、ImageNet分类数据集上的实验表明，文中方法能够在高剪枝率场景下保持网络的泛化能力，满足模型部署的要求.

• 出版日期2023
• 单位浙江工业大学