带光滑L_(1/2)正则化项的神经网络逆向迭代算法收敛性分析

作者：黄炳家; 王健; 温艳青; 杨喜峰; 邵红梅; 王兢

来源：中国石油大学学报(自然科学版), 2015, (02): 164-170.

• 神经网络
• 梯度法
• 逆向迭代算法
• 单调性
• 正则化
• 收敛性 neural networks
• gradient descent
• inverse iterative algorithm
• monotonicity
• regularization
• convergence

L1/2正则子比L2正则子更具稀疏性,有更强的剪枝能力;但其非凸、非光滑以及不满足Lipschitz条件的函数性质,使神经网络训练过程易于出现数值振荡现象,并且给收敛性分析带来理论困难。用光滑函数逼近L1/2正则子在克服数值振荡的同时可以保证目标函数具有良好的连续可微性质。针对提出的带光滑L1/2正则化项的逆向迭代神经网络模型,证明了误差函数的单调递减性质及算法的确定型收敛性:弱收敛和强收敛。数值实验表明,新的逆向迭代学习算法较已有算法保证了输入向量序列在训练过程中的稳定性及稀疏性,并有较好的泛化能力。

• 出版日期2015
• 单位大连理工大学