科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对卷积神经网络在采用Dropout算法随机选取神经元时,忽略神经元的作用能力有强有弱的局限性,提出一种DropWeight算法。首先在全连接层上,通过伯努利分布按一定概率来随机选择神经元是否激活,然后引入了一个神经元激活程度值变量。它是为未被激活的神经元们赋予较小的激活程度值,使得更新神经元的连接方式发生变化,来丰富网络的多样性和增强网络的鲁棒性。通过Mnist和Cifar-10两个标准数据集进行实验,与加入Dropout层进行比较,DropWeight层在所对应网络当中上都可找到一个最优的激活程度值,并可使图片分类的识别率分别提升0.18%和0.78%。结果表明,DropWeight层在一定程度上提高了网络的泛化能力,具有提高图片分类识别率的效果。
- 出版日期2019
- 单位广东工业大学
