科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种元素级重激活不重要神经元的神经网络训练方法及系统,涉及深度学习技术。针对现有技术中对元素激活的片面性提出本方案,依据L1范数,依次排序网络中的层和元素,以确定出赋值的来源和目标,然后通过自适应加权的方式赋值到该需要激活的元素。优点在于,利用全局和局部的挑选策略,准确定位低效神经元的位置。通过激活不重要神经元元素,实现了神经网络准确率的进一步提高。可以在网络训练的过程中随时使用,在增加少量计算量下,有效提高网络的准确率。适用于各种不同网络结构的训练,且能与各种基于梯度下降的优化方法混合使用,适用范围广,对轻量化网络的提升效果尤其显著。
- 出版日期2021-6-3
- 单位华南理工大学
